信用分配问题（Credit Assignment Problem）

概述 (50-200字符)

信用分配问题是指在一个多层神经网络中，如何将最终的预测误差合理地分配给网络中每一个权重或组件的问题。这是一个困扰AI领域十余年的核心问题，直到1986年反向传播（Backpropagation）算法的提出才得到解决。

关键内容 (≥300字符, 用双链)

1. 问题定义：当一个深层网络产生错误输出时，如何知道是哪个权重或哪一层的神经元导致了这个错误？输出层的误差可以直接计算，但隐藏层没有"正确答案"供参考，因此无法直接计算其误差贡献。

2. 历史背景：1969年Minsky在《Perceptrons》中指出了单层感知机的局限性，特别是无法解决XOR问题。虽然添加隐藏层理论上可以解决这些问题，但如何训练隐藏层成为一个无法克服的障碍。信用分配问题导致了AI的第一次"AI 寒冬"。

3. 反向传播解决方案：1986年，David E. Rumelhart、Geoffrey E. Hinton和Ronald J. Williams在Learning Representations by Back-propagating Errors (1986 论文)中提出了通过链式法则将误差从输出层反向传播到隐藏层的解决方案。这个算法完美解决了信用分配问题。

4. 数学实现：通过链式法则，可以计算复合函数对任意中间变量的偏导数。对于网络中的每个权重，都可以计算其对最终误差的贡献，即 ∂L/∂w = ∂L/∂output × ∂output/∂intermediate × ∂intermediate/∂w。

5. 深远影响：信用分配问题的解决使得多层感知机的训练成为可能，直接引发了深度学习的复兴。这个问题的解决不仅是技术上的突破，更是理论上的验证——证明了神经网络确实可以学习有意义的内部表示。

来源

• [Learning Representations by Back-propagating Errors] — Rumelhart, Hinton & Williams, Nature 1986
• raw/articles/ai-papers/foundations/paper_02_backpropagation.md — 源文件
• [Minsky, M. L., & Papert, S. A. (1969). Perceptrons.] — 原始问题提出

相关

• 反向传播（Backpropagation） — solved_by
• Learning Representations by Back-propagating Errors (1986 论文) — addressed_in
• 链式法则 — uses_solution_of
• David E. Rumelhart — addressed_by
• Geoffrey E. Hinton — addressed_by
• Ronald J. Williams — addressed_by
• 多层感知机 — enabled_by_solution
• 感知机 — problem_prevented_solution